在本文中，我们研究了自我监督的学习方法，尤其是VICREG，以提供对其构建的信息理论理解。作为第一步，我们演示了如何获得确定性网络的信息理论数量，为依赖随机模型的先前工作提供了可能的替代方法。这使我们能够证明如何从第一原则及其对数据分布的假设中发现的（重新）。此外，我们从经验上证明了我们的假设的有效性，证实了我们对Vicreg的新理解。最后，我们认为，我们获得的派生和见解可以推广到许多其他SSL方法，为SSL和转移学习的理论和实际理解开辟了新的途径。
translated by 谷歌翻译
解决现实数据科学问题的一个关键元素正在选择要使用的模型类型。通常建议使用表格数据的分类和回归问题的树集合模型（如XGBoost）。然而，最近已经提出了几种用于表格数据的深层学习模型，声称对某些用例倾斜XGBoost。本文探讨了这些深度模型是否应该是通过严格将新的深层模型与各种数据集上的XGBoost进行比较来推荐的表格数据。除了系统地比较他们的性能外，我们还考虑他们所需要的调谐和计算。我们的研究表明，XGBoost在数据集中优于这些深度模型，包括提出深层模型的论文中使用的数据集。我们还证明XGBoost需要更少的调整。在积极的一面，我们表明，深层模型和XGBoost的集合在这些数据集上仅仅比XGBoost更好。
translated by 谷歌翻译
In this preliminary work, we study the generalization properties of infinite ensembles of infinitely-wide neural networks. Amazingly, this model family admits tractable calculations for many information-theoretic quantities. We report analytical and empirical investigations in the search for signals that correlate with generalization.
translated by 谷歌翻译